Khi Victoria lên ngôi vào năm 1837, Lehzen có được một vị trí ngồi nổi bật tại lễ đăng quang và tiếp tục ở lại triều đình. Theo thỉnh cầu của Lehzen, bà không được phong chức vụ chính thức nào nhưng chấp thuận chức danh mới: Quản gia. Bà được sắp xếp làm việc tại Cung điện Buckingham như một thư ký riêng không chính thức, chịu trách nhiệm nối liên lạc giữa các dinh thự của vương thất và nắm giữ các chìa khóa trong cung điện như một dấu hiệu biểu thị vị trí của bà, mọi công việc chi trả trong triều luôn cần có chữ ký của Lehzen.[8] Thời điểm bấy giờ, Lehzen gần như đã thay thế hoàn toàn mẹ của Victoria cả về thế lực lẫn tình cảm, Các căn hộ của Lehzen liền kề với Nữ vương, trong khi Bà Công tước xứ Kent được phân bổ đến sống ở một dãy phòng cách xa Victoria.[28] Trong vài năm đầu triều đại Victoria, đặc biệt trước khi Victoria kết hôn với Prince Albert vào năm 1840, Lehzen có ảnh hưởng rất lớn đến quan điểm chính trị và các vấn đề riêng tư của Nữ vương, mặc dù trên thực tế bà không công khai liên quan đến các vấn đề của triều đình.[29] Ngay cả sau khi Nữ vương kết hôn, Lehzen vẫn tiếp tục sử dụng lối đi riêng vào phòng ngủ của hai vợ chồng, điều này gây nên sự bất mãn cho người chồng của Victoria, Prince Albert.[30]

Bị Prince Albert thay thế

Sự xuất hiện của Prince Albert dẫn đến những thay đổi đáng kể trong gia đình của Victoria. Lehzen phản đối quyết định của Conroy về việc cho Victoria kết hôn với Albert, bà mong muốn Victoria trở thành "một Nữ vương Elizabeth thứ hai, đồng trinh và không phụ thuộc vào đàn ông."[31] Prince Albert được giáo dục tương đối tốt và vừa hoàn thành một chuyến Đại hành trình trước vài năm tại Đại học Bonn. Triều đình của Victoria đã làm khiếp đảm tính nhạy cảm vốn có của người Đức.[32][33] Lehzen và Albert sớm sinh lòng đố kỵ lẫn nhau, bà thường cản trở ý định của Albert trong việc điều hành cung điện. Trong khi đó, Albert nhìn nhận Lehzen "kinh tởm" và không xứng giao thiệp với Nữ vương, ông công khai gọi Nữ Nam tước là "kẻ hèn nhát" và là một "kẻ mưu mô ngu ngốc điên loạn".[34]

Khi con đầu lòng của Victoria của Anh, Vương nữ Victoria chào đời, Nữ vương đã tin tưởng giao cho Lehzen phận sự sắp xếp người trông nom Vương nữ. Lehzen giao việc này cho một số nhân viên, trong đó có Ngài James Clark,[35] bất chấp sự phản đối của Albert. Prince Albert cho rằng vị bác sĩ này hoàn toàn không phù hợp với vị trí bởi ông đã bị mất uy tín trong mối quan hệ tình cảm với Lady Flora Hastings một năm trước đó.[36][37] Tới khi Vương nữ Victoria được mười bốn tháng tuổi, Vương nữ ngã bệnh, mất cảm giác thèm ăn, da dẻ bị xanh xao và có dấu hiệu sốt. Bác sĩ Clark nói đó chỉ là bệnh nhẹ và chỉ định cho Vương nữ uống "calomel", một loại thuốc có thủy ngân và laudanum. Trên thực tế, khả năng cao Vương nữ Victoria đã sớm phát triển nhận thức và chỉ đơn giản là thể hiện sự hoảng sợ trước những thay đổi trong phòng trẻ, sau đó lại có thêm sự xuất hiện của em trai.[38] Albert, một người cha thương con, đã đối chất với Victoria về sự vô dụng của các nhân viên được Lehzen lựa chọn.[39] Giữa hai người đã xảy ra một cuộc cãi vã, sau đó Albert tuyên bố rằng ông sẽ giao lại chuyện này vào tay "Nữ vương của ông" và đặt nó lên lương tâm của bà trong trường hợp đứa trẻ yểu mệnh.[40][41][42]

Không lâu sau cuộc cãi vã này,[41] Victoria đã thừa nhận với chồng rằng bà không muốn thấy ông không vui. Tuy nhiên bà vẫn cố gắng nêu ra quan điểm cá nhân để bảo vệ Lehzen, bà mô tả Lehzen là một người đàn bà chân thành vị tha, xứng đáng với vị trí trước đây của mình. Nhưng trước sự kiên quyết của Albert, Victoria đã cho sa thải Lehzen với lý do sức khỏe của bà ấy.[43][44] Trong mắt Albert, Lehzen là một người hầu luôn cố vượt quá phận sự của mình,[45] và ông muốn Nữ vương chỉ phụ thuộc vào duy nhất một mình ông.[8]

Lehzen chấp nhận cái cớ sức khỏe suy yếu và đồng ý rời đi. Vài ngày trước khi đi, bà đã chỉ dạy lại một số công việc của mình cho Marianne Skerrett, một trong những người thay đồ cho Victoria của Anh và trả lại chìa khóa cho Nữ vương. Lehzen rời cung vào ngày 30 tháng 9 năm 1842, bà để lại một tờ ghi chú thay vì nói chuyện trực tiếp với Victoria, với niềm tin rằng như vậy sẽ đỡ đau lòng hơn.[39] Nữ vương thời gian đầu không quen với sự vắng mặt của Lehzen, bởi "Giáo sư Lehzen" đã ở bên bà suốt 23 năm trời từ khi bà được sinh ra. Bà nói: "Ta rất đau lòng... sáng nay thức giấc và nhớ rằng bà ấy đã thực sự ra đi".[46]

Thông tin về sự ra đi của Lehzen lan rộng khắp triều đình và một số nơi khác. Các tin đồn xuất hiện với nhiều nguyên nhân khác nhau. Người giữ sổ sách trong triều, Ngài Charles Greville, viết rằng bà ấy đã rời đi "vì sức khỏe của mình (như bà ấy đã nói), để nghỉ ngơi trong khoảng năm hoặc sáu tháng, nhưng bà ấy đã không bao giờ trở lại."[47] Tuy nhiên, tờ báo The Times cho biết bà chỉ đơn giản là đi thăm bạn bè ở Đức.[48] Sau khi ra đi, cố vấn Baron Stockmar đánh giá về vụ việc này như sau:

"Ngài Vương tế đã thành công trong việc gạt [Lehzen] ra. Bà ta đã đủ ngu ngốc để đấu với thế lực của ông ấy, và còn không tuân theo sự thay đổi vị thế của mình... Nếu bà ta đã làm như vậy, và hòa giải với [Vương tế], bà ta đã có thể ở lại Cung điện đến cuối đời." [49]